走进科大实验室 | 刘明:无人驾驶的技术要素

日期:2020-07-27
图片
图片


无人驾驶的技术要素

刘明 教授


图片

刘明 教授

一清科技创始人

香港科技大学电子及计算机工程学系教授

刘明教授是目前唯一一位华人IEEE IROS杰出青年得奖者,曾率领团队研发香港第一台能回避障碍物,备有多项创新功能的无人车。目前一清的团队成员有逾百人,来自科大及世界各地的顶尖学府,主要产品包括自动驾驶物流车、载人接驳车、远程驾驶系统和云端调度监控系统等,已发表逾160篇无人车系统相关的研究论文,更多次获得IEEE的论文奖。


本文整理于2020年6月11日屈华民教授于清水湾云课堂的分享




疫情期间「无人配送」的爆发,把无人驾驶物流车引领至镁光灯下。而深圳一清创新科技有限公司(下称UDI),就多次采用无人车配送蔬菜至疫情区、送饭盒至城中村的工作人员,令无人车由「噱头」变成真正落地的问题解决者。

一清创始人,港科大刘明教授,在香港科大EMBA【走进科大实验室】系列中,做了「低速无人车 应用技术要素」主题分享。


01



无人驾驶的需求与未来终局


展望未来,我预测载物无人车及载人无人车的数量,前者将大幅度超越后者。预测建基于经济发展的趋势,其一是物流车需求高企,在中国,仅电商物流达每天10亿元订单;其二是劳动力不足,人工成本上升;其三是快速外卖抬高物流成本,将持续降低物流成本需求。至于Robottaxi的普及,应该不及载物无人车的发展规模。

回顾我的研究历史,跟全球无人车的发展轨迹一致。我在2003年至05年期间参与完成中国第一代新能源车「超越3号」,至2009年,开始牵头多地形自主导航重点项目NIFTi ,并参与欧盟首个无人车项目Smarter。在2013年于香港成立首个无人驾驶研究实验室;在Google 无人车项目Waymo成立的同一年(2016年),我围绕多个香港产学研究项目展开无人驾驶研究,经费超过五千万港币,随后在2017年再领导课题组发布香港首部无人车,低速行驶毋须安全员。创立UDI则始于2018年,当时确定以物流车为主要方向,低速无驾驶位,原因是无人车的实用性,包括:有用、好用、用的上、用的上及用的好,才是最重要的一环。


02


你想要什么样的无人驾驶生活?


有关无人驾驶的状况,有许多枯燥的视频介绍,总是聚焦人坐在车内,就完全不用担心车外的交通状况、如何避开障碍物的美好想象,描绘中欠缺技术层面,如感知系统、其他智能设备的配合。


同时,世界各地有关无人驾驶的意外新闻,骇人听闻,令人知道技术并非经常都安全,因此,我的结论是:无人驾驶在「什么场景当前可落地」才是最重要的。成立UDI,我定了一句口号「攀登珠峰,沿途下蛋」,技术要登上最高峰,实用落地能力如沿途下蛋。

现时,各国无人驾驶技术的应用集中在L4级别,即有条件无人驾驶,例如车速设上限、行驶区域路线较固定的应用等,原因是交通场景复杂多变,无人车要攀升至L5级,即不设车速及路线限制,可在任何条件下自动行驶,并不轻易。


03


创业目标:攀登珠峰,沿途下蛋


锁定「攀登珠峰,沿途下蛋」的目标,UDI在成立至今,一直针对L4级别开拓园区智能无人物流系统,因为没有法规问题,安全可控,可形成规模销售收入,跟工业物流系统深度合作,使我们易于积累订单的实际运作经验,其他同期项目包括:无人车零售、无人清扫等。预计来年至2022年,UDI开发区域无人物流系统,于公开道路L4低速载物,降低物流成本,形成供应系统,制造超大规模销售收入,另外发展半公开道路L4低速载人系统,而其他项目则开发无人巡逻安防;预计到2025年,城市无人物流系统正式成形,公开道路L4高速载物系统及高速公路L4载物,配合大需求的物流产业蓬勃发展;至于公开道路L4高速载人系统,关系到法规的支持,如没有相关的法规定立,一旦发生事故,整个无人车发展将受到毁灭性的打击。因此,UDI集中投资在低速载物无人车的研发。至于L5级别自动驾驶,大规模智能物流、Robottaxi的实现,仍需以十年计的时间去发展和达成。



04


实现多面向的应用


目前,UDI无人车已应用至多个产业板块,包括:机场、仓储企业、大学城、住宅区、产业园、生产厂区、物流企业、码头等;其中,无人车系统带动工业物运输4.0,从人手配送升级至自动化配送,运行公里已达数十万,从经营大型工业园区的客户的经验所得,无人车的ROI(投资回本期)仅一至一年半,UDI提供的方案包括行车的调度平台、可跟ERP(企业资源管理系统)对接以及标准制定,还有5G应用,实时管控。而跟我们合作的快递公司,亦成功将快递人手下调至过去的三分之一,无人车自动派件服务更将人员降至0。其他具代表性的应用项目,还包括企业使用一台无人车清扫,效率相当于五名清洁工的效率,在自动化码头的增益基础上,我们成功协助自动化港口降低了建设成本共五千万,以及后续使用成本,另有各类通勤车,已运作一年半。


无人系统的核心技术结构,集中在「系统化算化核心模块」,当中分为三个重点:


  • 感知系统--由传感器技术与产品支持

  • 决策与预测系统--由算力及芯片化方案支持

  • 规划与控制--由车身技术支持

05


感知系统


将物理世界的信号通过传感器传达至无人车系统,再将这些数字信息提升至可认知的层次,如记忆、理解、规划、决策等。UDI开发的感知系统,从六方面搜集道路上的信息:

1.1日夜感知能力--建基于视觉,跨天气、融合夜视的实时感知系统,足够支撑大范围高精密度的应用。

1.2多目视觉惯导融合系统--基于多目视觉与惯导融合,能实时建图定位,将光线变化的影响减至最低,采用单CPU低运算开销,同样支撑大范围高精密度的应用。

1.3 实时障碍检测与预测--实时感知及预测解算,包括检测动态及静态(如路沿)等障碍物,可大范围应用,单CPU低运算开销。

1.4 实时路面语义场景分析--路面语义分析,包括从三维到二维,或反过来从二维到三维等多种模式,单个镜头即可工作,开销低,实时响应。

1.5 实时车道场景分析--通过习次化网络实现的实时高精准度车道识别,同时为路径规划与运动规划提供参考。

1.6 实时视觉场景语义分析--针对道路场景的图片,对图像中的物体进行基于深度学习的分割,提供精密的分析数据。

1.7 实时激光景语义分析--利用激光检测关键物,深度图向三维空间,不受环境光线条件影响,不论日夜明暗都能实时检测,是目前建基于激光的关键物体检测,得到最佳结果的技术。

1.8 手持及车载大范围实时建图--以单一设备实时结合手持及车载检测,达三维建图领域最佳的结果。

1.9 路面环境可行区域检测──于三维建图基础上,再从三个不同角度检视环境,合共六个定位,基于几何解算,实时性高,不受环境光线条件影响,已在多个平台应用,动态物体检测与消除,CPU运算需求低。

1.10 视觉定位技术──采用单目视觉的全局定位,可实时应用,配合激光检测,基于紧耦合的优化算法,是极低成本的传感器方案。

1.11 三维语义感知──视觉强感知系统,具有独立的类人驾驶能力,可实时计算实时应用。

1.12 其他算法模块──红绿灯检测及识别,于室外大范围环境的成本定位导航系统,行人、路牌等关键物检测与跟踪,以及多地形机器人的导航等。

建基于以上多项感知技术,将非常复杂的空间制图,图中能显示出点、颜色、物体特征、明暗灯光之下的不同反光程度等,超越了Google街景的二维模式,提供原生三维模型及生成高清地图版本模式。

感知系统需要优良的传感器配合,我们研发的Unity-One:多传感器融合一体化传感器,是全球首发硬件同步,且满足实时要求的传感器产品,实时帧率及全局快门,结合激光、视觉和惯导三种检测模式。此外,多传感器融合紧耦合优化,包括姿态估计、建图、定位、检测、识别、跟踪、决策合于一身,可采用激光、视觉和惯导三种检测模式。我们也会跟激光企业深度合作,基于尚未上市的下代样机,包括MEMS-LIDAR等传感器,提早布局应用场景,为新型激光传感器的应用铺路。Unity-One的摄像头与激光IMU进行深度融合与硬件同步,性能可与Waymo传感器对标,而Unity IMU的传感器采样高达20KHz,精密度高,陀螺零偏稳定性也高达每小时2度,具备优越的高冲击、高振动抑制能力,更可集成外部辅助轮速、多普勒、测距、重力梯度;当外接摄像机、激光雷达,达工业级的无延迟同步。


06


传感器技术与产品


无人车系统的第二个核心技术是决策与预测系统,以规划驾驶的下一步。当中包括以下六个范畴:


2.1实时决策与动态预测──基于对动态物体的跟踪及环境的动态变化进行实时决策,利用GVO模型与RRT规划相结合,进行动态预测,以应对超车、跟车、停车等候等各情景。

2.2多信息融合技术──基于多信息融合的实时分类与决策,利用Dirchlet过程模型,与非参数化建模结合进行最优估计。

2.3车辆模型辅助的动态决策──在路径规划条件下,结合车辆的运动学模型进行最优决策,同时考虑环境中的动态及静态障碍。

2.4基于深度强化学习的决策──基于深度强化学习,通过 80万步的训练实现低成本传感系统条件下的自主导航,实现从虚拟环境向真实环境的迁移学习,在无人车技术的研究中,我们是最早将深度学习应用在端对端场合中的案例。

2.5 三维场景预测──深度强化学习与传统的滤波器结合,把传统每秒20帧提高到 21000帧,较传统技术高1000倍。

2.6 多机任务分配──此技术协助同时有多台无人车,以及不同目的地如仓储的场景,按照多个目标分配及决策出最有效率的方案。

为了增加决策与预测系统的精密度,我们从大规模的虚拟测试中收集数据,当中包括无人车对不同天气,如雨、晴转阴、日转夜的不同反应,仿真实安排突发事件,如不依交通灯过路的行人等,强化系统快速运算及决策的准确度。

在工控机与GPU算力分配上,我们有自家研发的ACU,另可选配Tx2,FPGA的点云算法方案,边缘计算与云计算融合等,支持决策与预测系统的流畅运作。



07


规划与控制


无人车系统的最后一个核心技术是规划与控制,包括三大范畴:

3.1三维路径规划与控制──在三维场景下流形上的路径规划与控制,实现多地形机器人的实时导航,与场景分析的结合,是领域内低速全自动导航系统的代表作。

3.2基于MPC的控制系统──实现多个复杂控制对象平台的MPC控制。

3.3基于迁移学习的强化学习──·迁移学习领域内具代表性的成果,实现虚拟环境与真实场景的互动,此技术实现了在真实车辆上进行端到端(End-to End)控制的实际控制系统,是领域中少数几个成功案例之一。


建立了优质的核心技术,最后还得由一台设备、电控、传感交换完善的无人车,才能真正实现无人驾驶的目标。UDI现已设有量产产线,并特别为无人车开发了5G低速无人车测试场地,内有50种测试场景。我曾服务于我国第一代燃料电池车「超越二号」和「超越三号」,负责ECU及BMS系统软硬件系统设计与调试,服务过第一代无人公交车阿尔法巴控制系统。加上之前的创业和科研经历,为我在复杂机电系统设计等方面积累了丰富的产品化经验,研制出时速达40km/h的无人车,是目前低速无人车最高速的成品。

最后,要把无人车跟使用者整合起来,云端是当中的桥梁。从叫车APP到自动或手动装车,经由云端(Cloud-end)管理 ,驾驶过程中的安全,由远程监控及辅助无人车,有条件地实现全流程无人化。

UDI无人车的应用已遍及中国多个城市,包括深圳科技园的小型无人车,顺丰采用的快递无人车,苏州的疫情消毒喷灌无人车,以及临淄的零售用无人车和物流无人车等。根据我们在产业园区的实践经验,人们由憧憬或害怕无人驾驶,只是源于不了解。直至无人车在园区内行走,路上总有好奇的员工前来测验无人车的反应,运作一段时间后,园区内的人都习以为常,适应了无人车是日常的一部分;过程正好是未来无人车技术普及化的缩影。


在2018年9月,台风山竹登陆深圳,分析师通过关闭相应工厂两天来模拟山竹可能造成的影响。对比山竹造成工厂停产的影响,可以看到该工厂停产会导致订单的延迟率上升。通过在其他时间段增加工厂的产能,可以降低订单的延迟率,但由于未能在最优的日期生产;此外,生产成本有所增加,分析师再以图像展示出某些产品受台风山竹影响后的生产情况,在调整生产计划后的生产情况,或在不同计划间的变化。可以看出,原本在生产周期前段停产的部分,通过在其他日期增加生产的方式得到了弥补。因此,通过PlanningVis的what-if分析功能,分析师就可以提前判断出哪些工厂需要提前增加产能来应对山竹的影响,以及这些调整可能会带来的成本变化。

智慧排产引擎,让执行者看到由完整的局面,按照模拟的数据分析,根据不同制约条件,如低成本、高稳定性或保证供应量等,人跟机器合作,重新编配恶劣天气下的生产安排,选择最优化的排产方案,减少天灾等事故引致的损失。宏观审视工业4.0,其特点是在整个价值链中,不论是人、设备,还是系统,全都紧密地联接一起;而所有相关信息都实时可用,供应商、制造商和客户之间的讯息透明化;管理人可以根据不同的标准,如成本、资源、客户需求等,不断优化价值链中的组成部件。从历史维度看工业革命,是从织布机发展到信息物理系统,是翻天覆地的变化。



问 答 环 节

主讲 刘明教授

嘉宾 陈志辉先生

图片

陈志辉

香港科大EMBA 2018班校友

盈峰投资公司董事总经理、易方达董事

陈志辉先生曾任美的集团财务税务总监,盈峰集团财务部总监,拥有超过10年财务及投资经验。参与主导商汤科技、云知声、智行者、酷哇、云鲸、Newsight等项目的投资。



问:请问无人驾驶在中国有何商业化应用?哪一类应用会出现爆发式增长?


陈:从投资者角度来看,当社会面对出生率下降、人口老化、工人短缺、人工成本高的痛点,所有有关「人工替代」的项目都是投资的机会。无人驾驶技术是非常复杂的高科技,因此,「围绕场景落地」的项目是较佳的投资方向,而不是全面无人化驾驶项目。我认为以下三种场景最适合发展无人车:(一)在密度高的区域如产业园区,无人车进行配送及清洁。(二)于半固定路线或半封闭区域进行无人车速递配送。(三)清洁场景,例如无人驾驶的垃圾车、道路清洁车等,一般于晚上十时后至凌晨工作,道路流量低,对行人的影响较少。事实上,现时不少公园已采用类似机器人打扫园区,于公用的室内或半室外场所工作,概念跟无人车清洁相近。总结而言,无人车在有条件范围下的应用,难度降低,相反,如要求无人物流车走上高速公路,重量及速度的提升,必须要另作针对性研究,因此,以上提出的三个有条件场景,都是近期有较好发展的方向。

刘:我们不能对技术过于迷信,无人车技术需要时间与经验去开发,有条件场景是一个很好的起始点;就像UDI的愿景「沿途下蛋」,我希望沿途下的蛋一颗比一颗大,但都必须先由第一颗蛋开始。

问:政府政策对无人车产业化有何影响?


陈:无人车系统的落实,并非单一汽车系统的推行,而是一个整体的社会工程,当中包括社会习惯、道德、法律系统的共同改变。宏观来看,无人车技术是百年汽车历史的范式转移(Paradigm Shift),过去二百年的汽车,都是由人控制,现在跃进无人控制的状态,改由人工智能控制,需要各项条件并行前进,各方大量投入而成。目前,许多地方政府都欢迎无人车公司于当地做测试及应用,一方面是GDP的考虑,也可提升地方智慧城市的形象,而最重要的支持,是地方致力打造智慧城市及公路,有效营造一个整体的无人车生态圈,推动未来发展,值得我们期待。

刘:政府政策、地方支持、经济资源投入,固然为无人车产业化带来正面帮助,此外,我想补充,社会习惯是另一个重要因素,就像过去由传统键盘手机走向智能手机,刚推出时机价昂贵,是什么因素吸引人花钱购买?消费习惯涉及一个社会认知的过程,因此,新技术的普及化,必须经过一段时间推演与过度。

问:软件和硬件的贡献,对无人车的定位有什么不同的重要性?


刘:无人车所需的软件,不同于一般CS (Computer Science)概念的软件,不能单纯以Coding、程序撰写方向去理解。无人车的软件和硬件,二者有紧密结合的关系。无人车可以达到那些功能,对应的软件才会为此而产生,支持相关的功能,二者是相辅相成的。从后设方案去制造无人车,先有车,后加软件,或会带来许多难以处理的技术问题,相反,以正向方案设计无人车,即一开始硬件和软同步开发,是最合适的安排。就像人有健壮的四肢,如希望有一个更聪明的大脑做主宰,提高四肢反应、优化决定等,也要两者合作,不能分割进行。事实上,现在UDI生产的无人车,有40%的零部件是全新设计制造的,无法从传统汽车制造中取得对应的部件,例如剎车系统的感锐度,无人车的要求比传统车辆高许多倍,必须重新设计。

问:无人车技术有何发展蓝图?普及需要什么条件?有什么障碍?


陈:据我了解,较悲观的看法是还需二十至三年时间,无人车才能全面普及应用,现时的发展,如刚才所言,集中在有条件的无人车应用。除了之前提及的政策、经济、社会习惯等,普及条件也视乎整体的交通系统配置,例如世界上的交通灯有不同的款式,无人车如何去辨识红或绿灯?还是应该由交通灯将灯号信息直接传送给无人车,效果更准确呢?假如领域内能统一辨识的方法,安全度及信任度提升,就能为普及化打好基础。此外,如无人车撞伤行人,究竟由谁负责?这些法律、道德细节,都是支撑无人车普及化的条件。

刘:由传统人手操控演化至无人驾驶,并不是一个「零与一」的状态,从有人跃进到无人驾驶,必须逐步实现,经历中间的状态,法规、保险、道德、交通配置固然是普及的条件,于实现过程中并行发展。另一方面,社会对「车」的概念也要转向新的理解,当车辆分为有人驾驶和无人驾驶后,后者只有配送的功能,车主还愿意付数十元泊车吗?自己开车,跟由无人车带自己上公路,所谓「拥有一台车」的概念又相同吗?这些都会影响无人车技术的普及化速度,值得思考。

问:全球有哪家无人车技术真正达到L4级别?你对其他品牌如Tesla L3无人车有看法?


刘:以UDI无人车为例,过去已在有条件的范围下应用一年半,车辆无人跟车、无安全人员、更没有司机的位置,己达L4级别。至于在公开路面的应用,则正在开发中。至于Tesla及Waymo的无人车系统,他们的技术侧重点各有不同,本质上有区别,前者以感知为主,后者以高精度定位为主;得悉Waymo于凤凰城设有一个大型测试场地,通过详细精密的建图,支持无人车作出快速的规划,无人车也是在特定场景内运作。纵使不同厂商的技术设点不同,但我认为最终都是殊途同归,有条件的无人车总有一天要上高速公路,任何系统都要以安全为大前提,终极技术都会整合起来。

问:如何去除一般人接纳无人车系统的心理障碍?


陈:就像电动车推出时,行车太宁静,故刻意加上行车声,给行人、驾驶者提醒,感觉安心,我看无人车也许是朝这个方向处理吧?

刘:我们已经于无人车加声效,例如加入剎车声,提醒行人;车身的传感器也安装在最明显的位置,让行人知道无人车正在感知路况,感应现场环境;相反,交通设施会否为适应无人车而改变?现时的交通灯、路牌等都是从司机的视觉设计,当无人车混在传统车辆当中,交通设施是否都要作出适度调动?

问:无人车技术的三个核心:传感器技术与产品、算力及芯片化方案、车身技术,哪一项在落地场景遇到最大的困难?如何解决?


刘:无人车技术的确壁垒极高,实现难度大,三大核心技术都有其难点,必须全栈式顶尖团队方可脱颖而出,详述如下:


1.场景复杂--动态的,而非结构化。

园区交通流量高,而且载重车、行人、自行车混在一起,GPS差或无信号灯路口,无人车道线导引左转时,路况复杂。

解决方案:自动驾驶全栈方案

实测绝大部分场景,应对复杂路况,作出最佳路线规划与控制。例如于富士康园区连续测试,顺风多场景运营测试,累积丰富的数据,创全球低速无人车平台。

2.车体要求高--车规级要求

商用车标准为承重大,安全性高,线控转向,剎车,驻车等商用车配置;其二是有能力应付极端恶劣天气,包括室外、高温、低温、雨雪、风沙等恶劣环境。

解决方案:二类商用车线控底盘

研发商用级自主设计底盘,前向设计,线控改装、载重一吨及以上二类商用底盘。极高精密度之控制,包括转向、轮速反馈及行走精度。

3.商业化难--量产能力

行业内产品成本较高,运维成本高,国内外尚未形成无人车共产线,行业缺乏成熟的无人车供应链。

解决方案:首条无人车量产产线

由山东政府大力支持,无人车专用全产业链量产基地;全自主产权,选定制能力, 客户响应及时。

问:在无人车技术上,中国跟美国或其他国家比较,有何差距?


刘:从技术层面来看,各国核心方案的差距并不大;唯独是中国的路况较复杂,相比欧美、日韩都更繁复,无人车实行难度相对提高,另外,汽车工业、传感器如何配置到无人车上等工程,相对欧美,中国在这方面的确有点差距。

陈:美国应用无人车的里数领先全球,现时中国投入举国之力去推动,并致力以各种仿真、模拟的技术克服路况复杂的难题,基于各国技术相近水平,中国从后赶上的速度可能更快。

问:请分享你的创业初衷,为什么会选择创业?

刘:UDI已经是我创立的第三家企业,之前的两家仍稳定运作中,创业可说是我人生的一种状态。一个好的管理者,不一定可以成为一个好的企业家,企业家要整合市场、管理、技术等各方面要求,方可将理想实现出来。创业反映我的人生追求,例如UDI中文名字是一清,取自道教「一炁化三清」之说,我希望将不同行业融合统整起来,目标成为全球最大的无人车公司。

问:为何没有全职投身创业,而同时维持教授的工作?


刘:我认为两种身份并不冲突,反而是相辅相生的关系,而且港科大给我们极大的支持,科研团队结合了不同的专业人员,互补不足,我希望将科大的领导地位,从技术延伸至产业上,成为领导者。

陈:投资者最关心创业者的时间分配;但从另一个角度看,高科技公司对人才的要求特别高,假如创业者的团队,有源源不绝的人才支持,建立专业稳健的人才库,未来发展的信心大增,对投资者来说是加分的一环。

问:创业过程中有什么难忘的趣事?


刘:还记得早年做无人车路面测试,为了收集大量数据,每天要行车100至110公里,团队人员就整天跟着车跑,来来回回走100多公里,过程维持了整整一个月,其中苦况可想而知。最令人安慰的,是团队人才都有不畏艰苦的毅力,一同为目标奋斗。科研是团队合作的成果,绝对不是任何一个人可以成就,这是我在创业过程中很感恩的一件事。

问:你心目中最欣赏的创业者和投资是怎样的?

刘:创业家一方面是技术的Leader (领导者),同时是生态的Creator (创造者),在无人车领域中,要具备开创整体生态圈的壮志,以改变整体交通、生活形态为目标,越过开发及落实过程中的种种障碍。而投资者,我希望他能够跟创业者起互补作用,协助我们提升,改善业务经营上的不足,愿意开放包容地跟创业者沟通,包括有气量地回答一些「傻问题」,彼此用心沟通,共同商讨解决方案。

陈:我重视创业者的两个方面:首先,他必须要在某一领域上特别牛,例如他是某技术的领导人才,其他方面,我们可以用投资等方法配合;其二是我重视承诺,大家讨论后达到的共识、目标、方案,我期望对方切实执行,这是身为投资者最看重的。



END



图片

电话
咨询
报名
预约咨询